β-OPSD: Deriving with Policy Optimization, Training with Self-Distillation
β-OPSD：将策略优化用于推导、自蒸馏用于训练的推理增强框架
🧭 KL正则化策略优化 · 自蒸馏 ★ 深度解读
University of Maryland, College Park
将on-policy自蒸馏统一为KL正则化策略优化族，通过可控的logit插值目标与return-to-go信用分配替代直接教师模仿，显著提升推理模型训练稳定性与性能。
📌 工作参考价值（4 点）
- 蒸馏目标调度：在在线蒸馏中，不直接跳到教师分布，而是用logit插值在参考策略与教师之间构造平滑课程（β从大到小）。这一trick可迁移至推荐系统的生成式模型训练（如LLM生成商品标题或推荐解释），避免训练初期因教师‑学生差距过大导致的崩溃。
- return‑to‑go信用分配：将序列级KL散度梯度分解为token级累积未来误差，替代局部token‑KL损失。在电商对话Agent中，对于多轮对话的回复质量评估，可借鉴这种将最终用户满意度信号反向传播到每个token的方法，提升训练效率。
- 参考策略的动态/固定选择：实验表明，使用当前学生（stop‑gradient）作为参考端、固定教师作为教师端的混合插值效果最好。这在搜推场景中可对应为：用当前模型的历史快照作为“保守先验”，用业务强信号（如成交）构造教师，在持续学习或在线更新时保持稳定性。
- 低成本策略优化近似：通过闭式解推导出理论最优目标，再用轻量logit混合实现，避免直接RL的方差和成本。在资源受限的推荐Agent微调场景中，可复用这种“推导用RL，训练用蒸馏”的范式，兼顾效果与效率。